In 1233 werd Walter van Modave vermeld als eigenaar van een indrukwekkende slottoren, een echt arendsnest op een steile rots die 60 meter boven de vallei van de Hojoux uitsteekt. Zijn familie zal het domein tot in de 16de eeuw in haar bezit blijven houden. In de 14de en 15de eeuw betrof het de heerlijkheden Klein- en Groot Modave die werden gescheiden door het riviertje de Hoyoux.
In 1558 kwam de familie de Haultepenne door erfenis in het bezit van de heerlijkheden, maar die gingen dan in 1570, door uithuwelijking, over naar de familie Saint-Fontaine. In 1642 werd het domein verkocht aan Jan van Marchin, die het verwierf in naam van zijn zoon Jean-Gaspard-Ferdinand, die een grote rol zou spelen in de historie van het kasteel, dat in 1651 deels door brand werd vernield door Lotharingse troepen. Het kasteel dankt zijn huidige vorm aan Jean-Gaspard-Ferdinand, die in 1658 opdracht gaf het kasteel te herbouwen in een nieuwe stijl, geïnspireerd door kastelen die hier en daar in Frankrijk waren verrezen.
Sinds 1941 is het eigendom van Brusselse Intercommunale Watermaatschappij voor de bescherming van haar waterwinningen in het riviertje de Hoyoux. Thans staat het kasteel van Modave open voor de meest uiteenlopende businessevents in een prestigieus kader.